[速報]AWS Trainium 2が発表されました #AWSreinvent

せーのでございます。 ただいま、AWS re:Invent 2023 keynoteをラスベガス現地にて聞いております。

AWSより新しい機械学習用のアクセラレータ「AWS Trainium 2」が発表されたので速報でお伝えいたします。

Trainiumとは

 

AWS Trainiumは、AWSが100B以上のパラメータモデルのディープラーニングトレーニングのために構築した第二世代の機械学習（ML）アクセラレータです。 機械学習の学習用にカスタマイズされており、Trainiumを搭載したEC2インスタンスをデータのトレーニングに使うことで低コストでハイパフォーマンスを得ることができます。 AWSは学習用のTrainiumと推論用のInferenciaがあり、機械学習のトレーニング、推論ともに自由度の高いリソースを提供しています。

Trainium2

 

今回発表されたTrainium2は従来のTrainiumに比べて4倍の速さを実現し、最大100,000チップのEC2 UltraClusterに導入することができます。 主に生成AIの基盤モデルにあるような数百万、数億、数兆個といった大量のパラメータを持つモデルの学習に最適化されており、既にAnthropic、Databricks、Datadog、Epic、Honeycomb、SAP、といった企業がこのチップを使って大規模基盤モデルをトレーニングしています。

Trn2インスタンス

 

Trainiumが搭載されたEC2インスタンスはTrnインスタンスでしたので、Trainium2がとうさいされたTrn2インスタンスがリリースされるかと思います。こちらの情報はまだ出ていませんが、発表次第触ってみたいと思います。

参考URL

https://press.aboutamazon.com/2023/11/aws-unveils-next-generation-aws-designed-chips